基于BCC GR1实例部署 Elastic Stack

您所在的位置:网站首页 elkfilebeat 缓存 基于BCC GR1实例部署 Elastic Stack

基于BCC GR1实例部署 Elastic Stack

2023-04-25 03:28| 来源: 网络整理| 查看: 265

简介

百度智能云正式发布了新型BCC实例产品 Gr1。不同于其他云服务器,Gr1所搭载的Ampere® Altra®云原生处理器基于Arm指令集架构,采用单线程内核设计,云实例的每一个vCPU都是独立的物理核,独享ALU(逻辑计算单元),缓存等关键物理资源,可以实现稳定可预测的性能。

目前Gr1实例已经已支持CentOS7.9、CentOS7.6、Ubuntu22.04、Ubuntu20.04等常用Linux公共镜像。Gr1实例产品主要面向常见的云原生应用负载,如开源数据库、Java应用程序、视频编解码、AI推理(数据治理)、大数据分析、DevOps、Web服务应用等。为了让客户更轻松地部署云原生的工作负载,作为百度智能云容器化工作负载的关键基础设施Cloud Container Engine(CCE) 目前已提供对Gr1实例的支持。

在本示例中,我们将演示如何在基于百度智能云Gr1实例的 CCE集群上部署 ELK 软件栈,以从 Kubernetes 集群内的 Pod 收集日志。

传统的ELK软件栈由Elasticsearch, Logstash, 和Kibana组成。从2015年起,轻量级的数据传输器Beats家族开始非正式的成为ELK中的一个组件。 ELK 软件栈为开发人员提供了端到端的能力来聚合应用程序和系统日志、分析这些日志以及可视化洞察以进行监控、故障排除和分析。

准备工作…

在开始前, 我们假设您已做了如下准备

您已经有一个百度智能云账户您的百度智能云账户具有创建Arm Kubernetes CCE容器引擎的权限。您本地操作终端已安装kubectl工具。

如果上列准备已经就绪,我们就可以进行下个步骤 —— 在部署ELK之前,先创建基于百度Gr1实例的Arm架构容器引擎。

先创建基于Gr1实例的容器引擎…

除了在 BCC上发布 Arm 实例外,百度智能云还提供使用基于 Ampere Altra 的 Gr1 实例在 CCE上运行容器化的Arm 工作负载。数个百度智能云地区和可用区现在可使用于基于 Gr1实例创建 的CCE集群:北京(D区域, E区域), 广州(C区域)和苏州(D区域)。

在本文中,我们将在百度智能云的北京可用区D创建一个由3个master节点,以及3个worker节点组成的集群。 首先,从控制台进入CCE容器引擎服务页面,点击“创建集群”按钮: 在集群创建导览页面中,选择创建 Arm Kubernetes集群。 按集群创建向导选择3副本Master配置: 并添加3台Gr1.c4m16实例作为Master节点: 类似的,在添加Worker节点的步骤中,选择添加3台Gr1.c8m32实例作为Worker节点: 点击确认完成,CCE开始启动集群创建。整个过程需要数分钟时间。 待集群状态变成运行中后,即可下载集群凭证: 将下载后的凭证存放在kubectl 的默认配置路径:

mv kubectl.conf ~/.kube/config

使用kubectl查询集群状态,当集群的Master和worker节点都显示Ready状态时,说明您的Arm 集群已经准备就绪,并且可以通过kubectl进行管理:

kubectl get nodes NAME STATUS ROLES AGE VERSION 192.168.64.10 Ready master 1d1h v1.20.8 192.168.64.11 Ready 1d1h v1.20.8 192.168.64.12 Ready 1d1h v1.20.8 192.168.64.13 Ready 1d1h v1.20.8 192.168.64.8 Ready master 1d1h v1.20.8 192.168.64.9 Ready master 1d1h v1.20.8 开始部署ELK!预拉取容器镜像

为了加速部署过程中容器镜像拉取的速度,我们先通过镜像的容器仓库将部署过程中使用到的容器镜像拉取到Worker节点上并重新打上tag:

docker pull ampdemo/eck-operator:2.4.0 docker tag ampdemo/eck-operator:2.4.0 docker.elastic.co/eck/eck-operator:2.4.0 docker pull ampdemo/elasticsearch:8.4.1 docker tag ampdemo/elasticsearch:8.4.1 docker.elastic.co/elasticsearch/elasticsearch:8.4.1 docker pull ampdemo/filebeat:8.4.1 docker tag ampdemo/filebeat:8.4.1 docker.elastic.co/beats/filebeat:8.4.1 docker pull ampdemo/kibana:8.4.1 docker tag ampdemo/kibana:8.4.1 docker.elastic.co/kibana/kibana:8.4.1 Operator 的部署

从Elastic网站下载定制并安装资源定义和RBAC规则:

kubectl create -f https://download.elastic.co/downloads/eck/2.4.0/crds.yaml kubectl apply -f https://download.elastic.co/downloads/eck/2.4.0/operator.yaml

稍等片刻后可以看到elastic-operator Pod 已经拉起并进入运行状态:

kubectl get pods -n elastic-system NAME READY STATUS RESTARTS AGE elastic-operator-0 1/1 Running 0 2m 创建持久卷

在本例中,ELK集群将会申请1GiB的持久卷空间用作数据存储。因此,我们制备了20G的持久卷供ELK集群及将来的扩容使用。

cat


【本文地址】


今日新闻


推荐新闻


    CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3